Andrei Gromyko sinh ra trong một gia đình nông dân Belarus[1] tại làng Staryja Hramyki/ Gramyki, gần Gomel. Ông học kinh tế học tại Trường Kỹ thuật Nông nghiệp Minsk và tốt nghiệp năm 1932. Sau đó ông làm công tác nghiên cứu khoa học và giảng dạy về kinh tế tại Viện Hàn lâm Khoa học Liên Xô ở Moskva trong những năm 1936-1939.

Gromyko chuyển sang Bộ Ngoại giao năm 1939 sau những cuộc thanh trừng của Joseph Stalin với những người chịu trách nhiệm về quan hệ với Mỹ tại đây. Ông nhanh chóng được cử tới Hoa Kỳ và làm việc trong đại sứ quán Liên xô tại đây cho tới năm 1943, khi ông được chỉ định làm Đại sứ Liên xô tại Hoa Kỳ. Ông đã đóng một vai trò quan trọng trong việc phối hợp sự đồng minh thời chiến giữa hai quốc gia và đóng vai trò quan trọng tại các sự kiện như Hội nghị Yalta. Ông trở nên nổi tiếng là một chuyên gia đàm phán. Ở phương tây, Gromyko được đặt tên hiệu "Mr. Nyet" (Mr. Không) hay "Comrade Nyet" gat "Grim Grom" vì kiểu đàm phán bướng bỉnh của ông. Ông thôi giữ chức đại sứ tại Washington ngày 10 tháng 4 năm 1946 để chuyên trách vào các vấn đề tại Liên hiệp quốc.

Năm 1946 ông trở thành đại diện của Liên xô tại Hội đồng Bảo an Liên hiệp quốc. Ông phục vụ một thời gian ngắn với chức vụ đại sứ tại Anh Quốc năm 1952-1953 và sau đó quay trở lại Liên xô, nơi ông giữ chức Bộ trưởng ngoại giao trong 28 năm. Với tư cách Bộ trưởng ngoại giao, Gromyko đã đóng vai trò trực tiếp trong vụ Khủng hoảng tên lửa Cuba và đã gặp gỡ với Tổng thống Hoa Kỳ Kennedy trong cuộc khủng hoảng.

Gromyko cũng giúp đàm phán các hiệp ước giới hạn vũ khí, đặc biệt là Hiệp ước ABM, Hiệp ước Cấm Thử Vũ khí Hạt nhân, SALT I và II, và INF và các thoả thuận START. Trong những năm cầm quyền của Brezhnev, ông đã giúp xây dựng chính sách giảm căng thẳng giữa hai siêu cường và rất tích cực trong việc soạn thảo hiệp ước không gây hấn với Tây Đức.

Năm 1966, ông có một cuộc đối thoại với Giáo hoàng Paul VI như một phần của ostpolitik (chính sách hướng về phía đông) của Giáo hoàng, dẫn tới sự cởi mở lớn hơn cho Nhà thờ Cơ đốc giáo Roma ở Đông Âu.

Gromyko luôn tin vào vị thế siêu cường của Liên xô và luôn thúc đẩy ý tưởng rằng không có một thoả thuận quốc tế quan trọng nào có thể đạt được nếu không có sự tham gia của Liên xô.

Gromyko là bộ trưởng ngoại giao từ năm 1957 tới năm 1985, khi ông bị thay thế bởi Eduard Shevardnadze. Gromyko đã đề nghị đưa Gorbachev vào chức Tổng bí thư Đảng tại cuộc họp của Bộ chính trị ngày 11 tháng 3 năm 1985. Gromyko vào Bộ chính trị năm 1973, và cuối cùng trở thành chủ tịch Đoàn chủ tịch Xô viết Tối cao (như lãnh đạo nhà nước Liên xô) năm 1985. Tuy nhiên vị trí này chỉ mang tính nghi lễ và ông đã bị buộc phải rời đi ba năm sau đó bởi những quan điểm bảo thủ của mình trong thời Gorbachev. Gromyko mất tại Moscow một năm sau đó.

Thái độ khô khan của Gromyko, với bằng chứng là nhiệm kỳ đầu tiên của ông tại Washington, luôn được thực hiện trong thời gian ông làm bộ trưởng ngoại giao Liên xô. Có một câu chuyện rằng Gromyko đi ra khỏi một khách sạn ở Washington vào một buổi sáng và bị một phóng viên hỏi, "Bộ trưởng Gromyko, ngài có thích bữa sáng nay không?" Câu trả lời của ông là "Có lẽ." [2]

Ông có vợ tên là Lidiya (mất năm 2004), một con trai tên là Anatoli (sinh năm 1932) và một con gái tên Emiliya (sinh năm 1938).